<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/14.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >阅读理解的一些探索[TODO]</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <h1 id="阅读理解的一些探索"><a href="#阅读理解的一些探索" class="headerlink" title="阅读理解的一些探索"></a>阅读理解的一些探索</h1><h2 id="3月26日随笔"><a href="#3月26日随笔" class="headerlink" title="3月26日随笔"></a>3月26日随笔</h2><p>因为最近要去打一个阅读理解的比赛，所以新开个随笔来记录一下流水账。比赛正式数据集3.31才放出来。<br>之前用<u><a href="https://github.com/google-research/bert" target="_blank" rel="noopener">Google BERT</a></u>的代码跑过SQUAD，然后我也没有怎么调参，自己的炼丹炉不求行，batch size只能设置成4，实属无奈。跑完结果如下：<br><img src="/images/RC/1.jpg" alt="SQuAD"><br>设置全参考的是Google BERT的配置。  </p>
<p>今天又看了一篇哈工大&amp;讯飞的PLM paper：<u><a href="https://arxiv.org/abs/1906.08101" target="_blank" rel="noopener">Pre-Training with WWM for Chinese BERT</a></u><br>核心思路就是在训练中文BERT中，Mask整个单词而不是单个字：<br><img src="/images/RC/2.jpg" alt="SQuAD"><br>最后看下中文阅读理解数据集<u><a href="https://github.com/ymcui/cmrc2018" target="_blank" rel="noopener">CMRC 2018</a></u>上的结果：<br><img src="/images/RC/3.jpg" alt="CMRC"><br>-wwm 就是whole word mask的意思<br>-ext 是指在更多的无监督语料库中训练<br>看完以后我又去查了一下<u><a href="https://arxiv.org/abs/1907.11692" target="_blank" rel="noopener">RoBERTa</a></u>，之前只是听说过，但没有了解细节。<br>引用<u><a href="https://www.zhihu.com/question/337776337/answer/770175723" target="_blank" rel="noopener">一个RoBERTa总结</a></u>：<br><img src="/images/RC/4.jpg" alt="RoBERTa总结">   </p>
<h2 id="3月30日随笔"><a href="#3月30日随笔" class="headerlink" title="3月30日随笔"></a>3月30日随笔</h2><p>分别在demo数据集（100条训练100条测试）上跑了一下BERT-base和RoBERTa_wwm_large_ext，效果如下：<br><img src="/images/RC/5.jpg" alt="BERT"><br><img src="/images/RC/6.jpg" alt="RoBERTa"><br>上图是BERT，下图是RoBERTa。<br>RoBERTa_wwm_large_ext，在GTX 1080ti上只能设置Batch_size为1，训练2epoch，而BERT-base是Batch_size设置为4，训练2epoch。<br>猜测可能是由于batch-size设置为1导致效果过差orz。  </p>
<p>于是我又去官网上看了一下各个模型的参数和在CMRC2018阅读理解上的对比：<br><img src="/images/RC/7.jpg" alt="CMRC2018排行榜"><br><img src="/images/RC/8.jpg" alt="各个模型参数"><br>于是总结出了：<br>（1）效果方面<br>BERT_wwm_ext_base &lt; ALBERT_large &lt; ALBERT_xlarge<br>RoBERTa_wwm_ext &lt; ALBERT_xlarge &lt; RoBERTa_wwm_large_ext<br>BERT_wwm_ext_base &lt; RoBERTa_wwm_ext<br>（2）模型大小方面<br>ALBERT_large &lt; ALBERT_xlarge &lt; BERT_wwm_ext_base = RoBERTa_wwm_ext &lt; RoBERTa_wwm_large_ext   </p>
<p>所以打算用RoBERTa_wwm_ext和ALBERT_xlarge来做初步的训练。预计今夜开战：<br><img src="/images/RC/9.jpg" alt="开放时间">   </p>
<h2 id="3月31日随笔"><a href="#3月31日随笔" class="headerlink" title="3月31日随笔"></a>3月31日随笔</h2><p><img src="/images/RC/10.jpg" alt="GPU"><br>卡卡爆满，我占了两张，分别在训练BERT-base和RoBERTa-base，早上醒来再看结果。  </p>
<p>BERT在验证集上结果如下：<br><img src="/images/RC/11.jpg" alt="BERT效果"><br>RoBERTa在验证集上结果如下：<br><img src="/images/RC/12.jpg" alt="RoBERTa效果">   </p>
<p>于是我直接用RoBERTa过了一篇测试集就提交了，效果如下：<br><img src="/images/RC/13.jpg" alt="Leaderboard"><br>当时还小激动了一下，第一个交卷2333，然后我刷新了一下：<br><img src="/images/RC/14.jpg" alt="Leaderboard"><br>哎，太难了，Baseline还没有到，接下来的任务就是调参了，因为显存不够所以Batch_size设置的比较小，然后要降低点学习率再试试看。</p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
